Chợ được xây dựng ở khu phố nhượng địa từ cuối thế kỷ 19 dưới thời Pháp thuộc, khi đó gọi là chợ Lớn (Grande Marché). Chợ được xây dựng bằng vật liệu chủ yếu là sắt thép nên có tên gọi là chợ Sắt.

Nhờ địa thế thuận lợi bên tuyến đường thủy từ Hải Phòng đi các tỉnh nên dưới thời Pháp thuộc chợ Sắt từng là một chợ rất sầm uất, là đầu mối buôn bán chính từ Nam Định lên hoặc Quảng Yên xuống, tiếng tăm có thể sánh với chợ Đồng Xuân (Hà Nội), chợ Rồng (Nam Định), chợ Đông Ba (Huế), chợ Bến Thành (Sài Gòn).

Đến thời bao cấp, đây vẫn còn là một trong những trung tâm buôn bán lớn nhất tại miền Bắc. Vào thời kỳ đó, những người buôn bán trong chợ Sắt được coi là lớp người giàu có và thành đạt về kinh tế của Hải Phòng. Chợ Sắt Hải Phòng là nơi buôn bán hưng vượng, là đầu mối bán sỉ để từ đây, nhiều mặt hàng tỏa đi khắp cả nước. Bất cứ ai đặt chân đến Hải Phòng cũng tranh thủ làm một vòng dạo qua chợ Sắt, không mua gì thì cũng đi ngắm cho mãn nhãn. Chợ Sắt trở thành niềm tự hào, kiêu hãnh của đất Cảng.

Sau sự cố cháy năm 1985 cùng tác động của với cơ chế mới thời mở cửa, ý tưởng đầu tư xây dựng mới chợ Sắt đã nhanh chóng hấp dẫn các nhà đầu tư từ Trung Quốc. Năm 1992, một dự án trị giá 15 triệu USD do Công ty Liên danh hữu hạn Hải Thành làm chủ đầu tư được Nhà nước cấp giấy phép hoạt động. Chợ cũ được phá đi và liên doanh xây lại với 2.000 gian hàng có tổng diện tích sử dụng gần 40.000 m² trên diện tích khuôn viên 13.000 m².

Sau 2 năm xây dựng, giai đoạn một với nguyên đơn thứ nhất gồm một nửa toà nhà 6 tầng trên diện tích 5.000m² đã được đưa vào sử dụng. Đây là sự kiện từng là mối quan tâm hàng đầu của giới tiểu thương rất có thế lực về tài chính tại Hải Phòng. Thời điểm ấy, để có một gian hàng trong chợ Sắt mới, hộ kinh doanh phải bỏ ra ít nhất 50-60 triệu đồng để thuê quầy. Không ít người đã phải vất vả đôn đáo ngược xuôi, cầm cố tài sản.